ICTSC9のバックボーン解説 - HomeNOC編

2018.04.02

執筆担当: 新留

前回から引き続き、Home NOC Operators Group（以下HomeNOC）様よりインターネットへの接続をご提供いただきました。
その中で、トラコン初となる10G回線と対外接続2経路、フルルートをご提供いただき、大阪・東京の2拠点と接続して冗長化しました。

HomeNOC - SRX1500のトポロジー図

10G回線

本戦会場であるさくらインターネット株式会社様のDWDM装置を利用し、実際にHomeNOCの大阪DCと会場の間をダークファイバーを利用し、10GBase-LRにて直接接続しました。

光ファイバーを通る通信について、HomeNOCの山口様が記事にしているので、こちらにリンクを掲載させていただきます。

DWDM装置は知識のない人が触れるものではないため、HomeNOCの方に実際に現地で設定・調整を行っていただきました。

10GでHomeNOCと接続していますが、ホットステージ中は当初の想像よりもパフォーマンスが出ないことに気づきました。

その理由として、インターネット上でのルーティングが関わっています。
インターネットの世界は非常に大量のルーターが相互接続されており、また自組織のルーターから見たベストパスが他組織においてもベストパスとは限りません。

一般的な経路制御の方法として、ホットポテトルーティングというものがあります。
これは、経路が最も近い場所から広告されているピアに向かってパケットを投げる制御です。

HomeNOC 大阪DCからインターネットに出る通信は、HomeNOCのルーティングポリシーに従い、MEDやAS_PATHなどを見た上でベストパスを選択しルーティングします。
しかし、戻り経路はどこから来るのかは相手組織のルーティングポリシー次第であり、また相手組織から見たベストパス次第となります。

例えば東京のとあるサーバーに大阪からパケットを飛ばしたとします。
そのパケットがもし大阪から出たとして、帰って来るパケットは相手から見て最も近い場所から吸い込まれます。
非対称パスでの通信速度の解説の図
その結果、行きは早くても戻りパケットが回線速度の遅い場所を通り、そこがボトルネックとなり通信が遅くなります。

これを知らずにパフォーマンスの確認メールを送り、詳細を理解することができました。ありがとうございました。
その後、会期期間中はバックボーンが計11Gbpsの場所と接続されている大阪からできるだけパケットが流入するよう制御していただきました。
おかげでバックボーンネットワークに関してはとても快適に通信できていました。

後から聞いた話なのですが、eBGPでは大抵のASが/24より細かい経路を無視するように設定されているということで、ICTSCが利用するネットワーク(103.202.216.16/28)よりもずっと大きいネットワーク(103.202.216.0/24)を大阪優先になるよう経路広告を変更していただいていました。
本当にありがとうございました。

対外接続2経路・フルルート

今回のテーマである「冗長化」を達成するため、ダークファイバー回線が切断された場合のバックアップとしてHomeNOCの東京DCとEtherIPトンネルを利用した接続を行い、大阪との通信が途絶えた際に利用されるよう設定していました。
対外接続2経路化に伴い、HomeNOCからSRX1500へ到達するパケットの経路制御が必要になるため、SRX1500でBGPを利用した経路広告を行い、MED値を制御することで出来るだけ大阪から通信を吸い込むような制御を行いました。
その際の設定として、大阪からの経路広告はMED値100、東京からの経路広告はMED値200で広告していました。
MED値は低い方が優先されるので、この広告を行なった結果、トラフィックはMED値の小さい大阪の方から流れてくることが確認できました。

HomeNOC側からの経路広告としては大阪からフルルートを、東京からデフォルトルートの広告をいただきました。
実は当初はデフォルトルートのみを広告してもらう予定だったのですが、会場で設定中に100万経路を処理可能なSRX1500にフルルートを流してみよう！ということになり、実際に流したら安定して動作できたため、この設定をそのまま利用することになりました。
東京からフルルートを受け取ることについては、PPPoEの回線品質から見送りました。

その結果、こちらからのパケット送出についてはフルルートが受信できている（HomeNOCの大阪データセンターが生きている）場合は大阪からパケットが送出され、もし大阪DCとの回線がダウンした場合はバックアップとして利用することができるようになりました。

コンテストを終えて

コンテスト二日目の午前中にHomeNOCよりも上流の回線で障害が発生し、5000経路くらいが消失、さらに一時的に下り通信が東京から来ていた現場を目の当たりにするというとてもレアな経験ができました。
この原因は、HomeNOCがバックボーンとの接続で使用しているフレッツ網で発生した障害の影響だったそうです。

5000経路も消えた図

(しかしこの時にICTSC側で通信障害が起きていました・・・設定不足・・・:innocent:ご迷惑をおかけしました）

また、ホットステージ期間中に10G回線でエラーカウンタが回り続けている連絡を受け、光ファイバー清掃で対応するなども行いました。
他にもNTT東日本とNTT西日本のフレッツ回線における閉域網は直接接続できない等、大阪ということも相まって面白い体験ができました。